Не так давно компания VMware выпустила интересный и полезный документ, который пригодится очень многим Enterprise-администраторам виртуальной инфраструктуры - "Oracle Databases on VMware Best Practices Guide".
Как и остальные документы серии Best Practices Guide, данный документ предоставляет вполне конкретные рекомендации и лучшие практики по эксплуатации СУБД Oracle на платформе VMware vSphere.
Основные разделы документа:
VMware Support for Oracle Databases on vSphere - рассказывает о политиках поддержки СУБД Oracle на платформе vSphere.
Server Guidelines - рекомендации по выбору и конфигурации серверов.
Virtual CPU Guidelines - как правильно сайзить виртуальные процессоры ВМ.
Memory Guidelines - лучшие практики по использованию оперативной памяти (что очень важно для баз данных).
Storage Guidelines - как правильно выбирать тип хрананилища, настраивать его и правильно эксплуатировать (в том числе Virtual SAN).
Networking Guidelines - лучшие практики по конфигурации сетевого взаимодействия (виртуальные коммутаторы, сетевые адаптеры и т.п.).
Guest Operating System Guidelines - как правильно настроить гостевую ОС, чтобы база данных работала быстро.
Database Guidelines - общие принципы правильной архитектуры решений Oracle на платформе vSphere.
ESXTOP/rESXTOP - средства мониторинга производительности серверов.
Backup and Recovery - резервное копирование и восстановление, а также защита данных.
High Availability - обеспечение высокой доступности и средства отказоустойчивости.
Disaster Recovery - восстановление после масштабных сбоев с помощью решений vSphere Replication, SRM и прочих.
VMware Engineered Systems - использование готовых референсных архитектур (например, EVO:RAIL) для организации больших инфраструктур.
Скачать "Oracle Databases on VMware Best Practices Guide" можно по этой ссылке.
На днях мы писали о том, что компания VMware выпустила релизную версию своей минимальной операционной системы Photon OS 1.0, которая предназначена для исполнения виртуальных контейнеров Docker. Многие сразу задумались о том, как дело обстоит с работой контейнеров с хранилищами своих данных.
Как раз в этой связи компания VMware выпустила технологическое превью драйвера vSphere Docker Volume Driver, позволяющего напрямую работать с виртуальными хранилищами прямо из контейнеров Docker (версии 1.9 или выше).
Архитектура решения выглядит так:
Как видно из картинки, нам потребуется установить Volume Driver на серверы VMware ESXi, а также плагины vSphere Docker Volume Plugin на виртуальные машины Docker Host, где будут исполняться наши контейнеры. Также мы видим, что в качестве хранилищ поддерживаются практически все, что поддерживает платформа vSphere: тома VMFS (локальные и общие), NFS-хранилища, а также тома Virtual SAN (и соответственно их политики по обеспечению избыточности данных в целях отказоустойчивости).
Рассмотрим развертывание решения vSphere Docker Volume Driver по шагам.
1. На серверы VMware ESXi 6.0 или выше устанавливается компонент vSphere Data Volume Driver в виде обычного VIB-пакета.
4. Устанавливаем VMDK Plugin (Docker Volume Plugin) на хост ESXi.
Проверяем версию Docker:
root@photon-machine [ ~ ]# docker version
Client:
Version: 1.11.0
API version: 1.23
Go version: go1.5.4
Git commit: 4dc5990
Built: Wed Apr 13 19:36:04 2016
OS/Arch: linux/amd64
Server:
Version: 1.11.0
API version: 1.23
Go version: go1.5.4
Git commit: 4dc5990
Built: Wed Apr 13 19:36:04 2016
OS/Arch: linux/amd64
root@photon-machine [ ~ ]#
Install the RPM (I’ve used “-U” out of habit, but “-i” can also be used):
Устанавливаем RPM-пакет с плагином в гостевую ОС:
root@photon-machine [ ~ ]# ls
docker-volume-vsphere-0.1.0.tp-1.x86_64.rpm
root@photon-machine [ ~ ]# rpm -Uvh docker-volume-vsphere-0.1.0.tp-1.x86_64.rpm
Preparing... ################################# [100%]
Updating / installing...
1:docker-volume-vsphere-0:0.1.0.tp-################################# [100%]
File: '/proc/1/exe' -> '/usr/lib/systemd/systemd'
Created symlink from /etc/systemd/system/multi-user.target.wants/\
docker-volume-vsphere.service to /usr/lib/systemd/system/docker-volume-vsphere.service.
5. Проверяем статус плагина:
root@photon-machine [ ~ ]# systemctl status docker-volume-vsphere
* docker-volume-vsphere.service - "Docker Volume Driver for vSphere"
Loaded: loaded (/usr/lib/systemd/system/docker-volume-vsphere.service;\
enabled; vendor preset: enabled)
Active: active (running) since Mon 2016-05-30 09:04:21 UTC; 28s ago
Main PID: 256 (docker-volume-v)
CGroup: /system.slice/docker-volume-vsphere.service
`-256 /usr/local/bin/docker-volume-vsphere
May 30 09:04:21 photon-machine systemd[1]: Started "Docker Volume Driver\
for....
Hint: Some lines were ellipsized, use -l to show in full.
root@photon-machine [ ~ ]#
Интересный пост о технологии VVols появился на блогах VMware. Дескать, их часто спрашивают - почему средства балансировки нагрузки на хранилища Storage DRS не поддерживаются для томов VVols?
Для ответа на этот вопрос надо рассмотреть, как работает традиционная архитектура хранилищ, которая была до VVols и кластеров Virtual SAN. Обычный дисковый массив или хост можно представить набором носителей двух типов (HDD и Flash), которые дают суммарно некоторую емкость.
Например, у нас 160 ТБ на СХД, которые мы разбиваем на LUN по 8 ТБ, итого получая 20 томов VMFS. Допустим, половина емкости у нас HDD, а половина - SSD. Тогда мы создадим 2 датастор-кластера (datastore cluster), в каждом из которых будет по 10 томов VMFS:
Кластер на SSD-носителях будет хранилищем яруса Gold, а HDD - Silver. Технология Storage DRS предназначена, чтобы балансировать виртуальные машины в рамках яруса между LUN для обеспечения их равномерной загрузки, как по емкости, так и по вводу-выводу. А в случае необходимости машину можно также и перенести между ярусами (Silver->Gold) с помощью технологии Storage vMotion.
Все это вызвано сложной структурой хранилищ, которая "прячет" виртуальную машину от дискового массива, представляя ее в конечном счете как набор дисковых блоков, ничем не отличающихся таковых при подключении физических серверов.
В случае же с VVols дело обстоит совсем иначе: на все хранилище создается один Storage Container, который объединяет собой все 160 ТБ доступной емкости - и Flash, и HDD. И этот контейнер представляет собой единственный объект для хранения виртуальных машин с томами VVols:
То есть все операции по балансировке данных виртуальных машин (на уровне дисковых объектов VVols) передаются на сторону СХД, которая лучше знает, как правильно распределять данные и обеспечивать необходимый уровень обслуживания на базе политик (Storage Policies), привязанных к ярусам. Это, конечно же, требует некоторой работы со стороны производителей систем хранения, зато избавляет от забот саму VMware, которая универсализовала технологию VVols и средства работы с ней.
То есть, VVols не требует наличия Storage DRS - технологии, которая уйдет со временем на уровне отдельных аппаратных хранилищ, но будет полезной для балансировки в среде, где есть несколько СХД или кластеров хранилищ от одного или нескольких вендоров.
Компания StarWind Software, известная своим лучшим продуктом Virtual SAN, предназначенным для создания отказоустойчивых хранилищ под виртуализацию VMware vSphere и Microsoft Hyper-V, проводит бесплатный вебинар "Turnkey Storage Appliance Less work for you".
Это мероприятие предназначено для тех, кто хочет узнать о продукте Storage Appliance, представляющем собой законченную программно-аппаратную платформу для создания надежного и быстрого хранилища для виртуальных машин.
Вебинар пройдет 8 июня в 15-00 по московскому времени. Вести вебинар будет Тарас Швед, так что вы спокойно можете задавать вопросы на русском языке.
Компания StarWind Software, выпускающая лучший продукт Virtual SAN для создания отказоустойчивых хранилищ под виртуализацию VMware и Microsoft, выпустила интересный документ "StarWind Storage Appliance Overview".
StarWind Storage Appliance - это готовый к развертыванию инфраструктуры хранилищ для гипервизоров VMware ESXi и Microsoft Hyper-V программно-аппаратный комплекс, который можно просто масштабировать по емкости путем приобретения новых узлов, при этом обеспечивается отказоустойчивость всей подсистемы хранения:
Более подробно о таких функциях StarWind Storage Appliance, как файловая система Log-Structured File System (LSFS), серверное кэширование, дедупликация, компрессия данных при передаче, асинхронная репликация и многое другое, вы можете прочитать в документе, а также по этой ссылке.
Зачастую в тестовом окружении вам нужно создать несколько томов VMFS (например, для тестирования технологии Storage DRS и создания кластера хранилищ), но диск на машине только один. В этом случае можно вручную нарезать этот диск на разделы и отформатировать их в тома VMFS 5, которые будут использоваться в качестве виртуальных хранилищ.
Для этих целей можно использовать 2 утилиты, входящие в состав VMware ESXi 6 - PartedUtil и vmkfstools. Помните, что метод, изложенный ниже, не поддерживается для производственных систем. Используйте его только в тестовом окружении!
Итак, заходим на хост ESXi, напрямую или по SSH. Сначала нужно найти имя устройства. Для этого можно воспользоваться командой:
fdisk –l
Либо для подробной информации можно взять следующую:
esxcli storage core path list
В качастве вывода мы получим что-то вроде этого:
sata.vmhba34-sata.0:0-t10.ATA_____WDC_WD10EALX2D009BA0__________________________WD2DWCATR6576288
UID: sata.vmhba34-sata.0:0-t10.ATA_____WDC_WD10EALX2D009BA0__________________________WD2DWCATR6576288
Runtime Name: vmhba34:C0:T0:L0
Device: t10.ATA_____WDC_WD10EALX2D009BA0__________________________WD2DWCATR6576288
Device Display Name: Local ATA Disk (t10.ATA_____WDC_WD10EALX2D009BA0__________________________WD2DWCATR6576288)
Adapter: vmhba34
Channel: 0
Target: 0
LUN: 0
Plugin: NMP
State: active
Transport: sata
Adapter Identifier: sata.vmhba34
Target Identifier: sata.0:0
Adapter Transport Details: Unavailable or path is unclaimed
Target Transport Details: Unavailable or path is unclaimed
Maximum IO Size: 33553920
Можно сделать это и из vSphere Client:
Далее получаем таблицу разделов следующей командой (имя диска берем из поля Device):
Диск этот пуст, и мы получим примерно такой вывод:
msdos
29185 255 63 468862128
Например, вы хотите создать на этом диске 5 разделов (LUN) по 10 ГБ каждый. При размере сектора 512 байт, размер каждого такого диска будет 20971519 секторов. При этом первые 2048 секторов диска надо пропустить, чтобы оставить место под GPT-таблицу и выровнять разделы по лучшим практикам (под 512-байтные секторы).
Получаем следующий план разбиения разделов с номерами начальных и конечных секторов:
Аналогичные действия нужно будет проделать и с оставшимися четырьмя датасторами, после чего они станут видны в клиенте vSphere. Более подробно о процедуре изложено в KB 1009829.
Синхронная репликация Microsoft Storage Replica работает так:
1. Приложение записывает данные.
2. Записываются данные журнала (логи) и данные уходят на резервную площадку.
3. На удаленной площадке также записываются логи.
4. С резервной площадки приходит подтверждение записи данных.
5. Для приложения запись данных считается подтвержденной.
Для асинхронной репликации процесс можно представить следующим образом:
1. Приложение записывает данные.
2. Записываются данные журнала (логи).
3. Для приложения запись данных считается подтвержденной.
4. Данные уходят на резервную площадку.
5. На удаленной площадке также записываются логи.
6. С резервной площадки приходит подтверждение записи данных.
Ну и сотрудники StartWind во главе с Антоном решили протестировать Microsoft Storage Replica в рамках четырех различных сценариев. По ссылкам ниже вы можете почитать о результатах этого тестирования:
В апреле 2016 года компания «ИТ-ГРАД» организовала серию тренингов, посвященных технологиям NetApp для эффективного хранения данных. Компания NetApp не нуждается в отдельном представлении, ведь решения этого производителя пользуются высокой популярностью. Какие темы оказались наиболее обсуждаемыми, расскажем в сегодняшнем материале.
На днях компания Veeam Software, известная своим лучшим в отрасли продуктом для защиты и мониторинга виртуальных сред Veeam Availability Suite (о котором мы писали вот тут), анонсировала обновление своего решения - Veeam Availability Suite 9.5.
Традиционно, Veeam будет постепенно раскрывать подробности о новых возможностях Availability Suite, а пока представлена была только первая фича - интеграция с аппаратными хранилищами Nimble Storage.
В рамках данной интеграции будут доступны 3 ключевые возможности:
Backup from Storage Snapshots - возможность создавать резервные копии виртуальных машин путем снятия аппаратных снапшотов хранилища (средствами технологии native snapshot scheduling engine), а также оркестрация операций репликации ВМ на резервном хранилище.
Veeam Explorer for Storage Snapshots - восстановление виртуальных машин из снапшотов хранилищ или реплицированных копий, а также восстановление отдельных объектов (файлов, объектов приложений, таких как письма Exchange).
On-Demand Sandbox for Storage Snapshots - возможность использовать аппаратную интеграцию для создания изолированных окружений, например, для целей тестирования восстановления резервных копий.
Для того, чтобы получить преимущества Advanced Storage Integration для Veeam Backup and Replication, который является частью Availability Suite, нужно иметь Nimble Operating System версии 2.3 или более поздней, гипервизор vSphere 4.1, 5.x или 6.0, а также Veeam Backup & Replication 9.5.
Больше подробностей об интеграции Veeam Availability Suite и Nimble Storage вы найдете в блоге Veeam. А следить за новостями по продукту Veeam Availability Suite 9.5 можно вот тут.
Ну и еще одна новость от Veeam - открыта регистрация на VeeamON Forum 2016, который пройдет 26 мая в Москве. Это главное мероприятие компании Veeam в России за целый год, поэтому если продукты компании вам интересны - обязательно посетите его.
Известно точно, что выступит - Дэниэл Фрид, старший вице-президент по продажам и маркетингу Veeam. Будут выступления заказчиков, спонсоров. В прошлом году это были HPE, NetApp, Microsoft, Cisco. Будут специальный гость (возможно это президент компании - Ратмир Тимашев) и, конечно же, вечеринка. Приходите!
На очередном ежечетверговом вебинаре от StarWind вы сможете узнать все о настройке решения StarWind VTL, которое набирает популярность в последние месяцы. Это мероприятие позволит вам узнать о деталях настройки продукта на основе реальных сценариев его использования заказчиками StarWind, а также наглядно увидеть все эти шаги в консоли продукта в рамках онлайн-демо.
Вебинар пройдет 28 апреля в 15-00 по московскому времени. Зарегистрироваться можно по этой ссылке. Мероприятие проводит Богдан Савченко, а значит вы сможете задавать вопросы на русском языке.
Есть пара интересных постов, на базе которых мы попробуем вкратце описать поведение кластера VMware Virtual SAN в случае, если при развертывании виртуальной машины кластер не способен обеспечить требуемые политики хранилищ (Storage Policies).
1. Обычный кластер Virtual SAN.
Если при развертывании новой ВМ в кластере VSAN невозможно обеспечить требуемые политики хранилищ (например, не хватает места для создания зеркалируемых объектов реплик), а именно:
то виртуальная машина не сможет быть развернута в кластере. Но есть такая настройка Force Provisioning для VM Storage Policy, которая позволяет игнорировать указанные 3 параметра при развертывании новой ВМ в кластере.
Однако надо понимать, что при использовании Force Provisioning происходит не понижение требований кластера к хранилищу виртуальной машины (например, вместо FTT=2 можно было бы проверить FTT=1), а использование следующих параметров:
NumberOfFailuresToTolerate = 0
NumberOfDiskStripesPerObject = 1
FlashReadCacheReservation = 0
То есть нужно просто аллоцировать место под виртуальную машину, совершенно без соблюдения требований к дублированию данных и резервированию кэша.
Но кластер Virtual SAN имеет еще одну специфическую черту - если вы использовали Force Provisioning при недостатке дисковых ресурсов, то когда они освободятся, для хранилища машины будут сделаны реплики дисковых объектов и прочие операции, чтобы она все-таки соответствовала требуемым политикам хранилищ. Администраторам надо иметь эту особенность в виду.
И еще один момент - так как в случае Force Provisioning может храниться только одна копия дисковых объектов, то, например, если при переводе хоста в режим Maintenance Mode случится какой-нибудь сбой с его хранилищем - реально можно потерять эту машину целиком. Делайте бэкап и, по-возможности, не используйте Force Provisioning - старайтесь соблюдать политики хранилищ хотя бы на уровне FTT=1.
2. Растянутый кластер (Stretched Cluster).
В случае растянутого кластера появляется еще один компонент - Witness Appliance, следящий за ситуацией Split Brain, которая может появиться между площадками. Если вырубить этот виртуальный модуль и попытаться включить виртуальную машину или создать новую ВМ, то кластер Virtual SAN (несмотря на то, что он Failed и политика хранилищ не соблюдена) позволит это сделать, правда будет ругаться, что машина не соответствует текущим политикам хранилищ:
В остальном растянутый кластер ведет себя по отношению к Force Provisioning так же, как и обычный.
Не так давно мы писали о том, как поддерживает резервное копирования виртуальных машин на томах Virtual Volumes (VVols) главный продукт в индустрии Veeam Backup and Replication. Технически бэкап ВМ на томах VVols ничем не отличается от стандартного бэкапа в VMware vSphere, так как создание снапшота проходит через единый механизм как для обычных виртуальных хранилищ, так и для Virtual Volumes. Достигается это посредством поддержки продуктом для резервного копирования интерфейса vSphere APIs for Data Protection (VADP).
VADP уже достаточно давно поддерживается решениями для резервного копирования виртуальных машин, поэтому вы можете смело использовать их для бэкапа ВМ на томах VVols, начиная со следующих версий:
Для успешного резервного копирования через VADP надо обязательно иметь доступ к vCenter, делать его резервную копию, а также создать бэкап виртуальной машины, реализующей VASA Provider (VP), если он не физически реализован на массиве, а поставляется как ВМ.
Нужно помнить, что VASA Provider (если это ВМ) содержит в себе структуру томов VVols (и маппинги машин к устройствам), и если этот компонент будет потерян, то вы полностью потеряете управление над хранилищами. Надо сказать, что вендоры решений с поддержкой VVols, как правило, сами реализуют отказо- и катастрофоустойчивость своих VP, но необходимо помнить, что это критически важный компонент и неплохо бы делать его резервное копирование.
Важным моментом также является то, что SAN-to-SAN бэкап не работает на томах VVols ни в одном из продуктов для резервного копирования. Причина проста - еще не разработано универсального стабильного API для прямого доступа к томам VVols со стороны медиа-серверов РК.
Важный момент касается снапшотов для томов VVols. Если в традиционных хранилищах не рекомендовалось делать более 2-3 снапшотов (хотя поддерживалось дерево до 32 штук) и хранить их следовало не более 24-72 часов, то для Virtual Volumes все работает несколько иначе:
В среде VVols при снятии снапшота базовый диск остается режиме Read/Write (это все делает массив), то есть контекст записи данных никуда не переключается, и изменения пишутся в базовый диск. В снапшоты (это отдельные тома VVol) пишется только информация об изменениях базового диска (какие дисковые блоки были изменены с момента снятия снапшота).
Ну а при удалении снапшота по окончанию резервного копирования никакой консолидации с базовым диском производить не требуется - так как мы продолжаем с ним работать, просто отбрасывая дельта-диски. Ну а мораль такова: снапшоты с VVols уже не так плохи, как раньше!
Ну и несколько полезных ресурсов о Virtual Volumes:
Большинство организаций должны поддерживать непрерывность оказания услуг или доступа к корпоративным ресурсам в виртуальной среде. Поэтому администраторы ищут возможности легко и быстро решать проблемы с конфигурированием отказоустойчивых кластеров Hyper-V. Теперь такая конфигурация доступна не только большим компаниям, но даже малым и средним предприятиям за счет возможностей недорогого продукта - 5nine Manager.
Известный многим из вас блоггер Фрэнк Деннеман (Frank Denneman) на днях анонсировал третье издание книги о проектировании виртуальной инфраструктуры VMware - vSphere Design Pocketbook v3, которая построена на базе материалов авторов, пишущих о виртуализации в своих блогах или на других ресурсах:
Книга представляет собой сборник статей известных блоггеров и специалистов в области построения виртуальной инфраструктуры, которые широко известны в медиа-пространстве. Среди них такие известные ребята, как William Lam, Matt Leibowitz, Frank Denneman и другие.
Книга доступна бесплатно в электронном виде по этой ссылке, а в печатном виде будет распространяться на конференции EMC World. В книге 157 страниц рекомендаций по дизайну инфраструктуры виртуализации в формате блог-записей, в которых авторы стараются быть максимально конкретными и пишут по сути (со скриншотами, графиками и таблицами).
Ниже содержание книги с указанием авторов соответствующих статей, которые объединены в 7 глав, отражающих основные аспекты проектирования виртуальной инфраструктуры VMware vSphere:
Chapter 1 – Host Configuration
Host Design – Scale-Up or Scale-Out? (by Rene van den Bedem)
VMware ESXi – Async Drivers (by Patrick Schulz)
Don’t Forget the Logs (by Steve Wood)
Chapter 2 – Cluster and vCenter Design
VMware Resource Pools (by Eric Shanks)
Tweet Sized Design Recommendation (by Doug Baer)
vCenter is Down – Impact on VMware Infrastructure (by Mariusz Kaczorek)
Tweet Sized Design Recommendation (by Amit Rathod)
Enhanced vMotion Compatibility (EVC) Best Practices (by Dee Abson)
What Does Load Balancing the Platform Services Controller Really Give You? (by William Lam)
Chapter 3 – Storage Configuration
The Ultimate IOPS Cheat Sheet (by Bas van Kaam)
Tweet Sized Design Recommendation (by Doug Behr)
Determine Your vSphere Storage Needs (by Michael Wilmsen)
Tweet Sized Design Recommendation (by Patrick Schulz)
vSphere Replication – Consider These Points Before Using It (by Craig Kilborn)
Know the Minions by Chethan Kumar
Understanding Block Sizes in a Virtualized Environment (by Pete Koehler)
Chapter 4 – Network and Security Design
vSphere 6.0 – Configure VMware Certificate Authority As A Subordinate CA (by Kyle Jenner)
Интересная и полезная штука обнаружилась на одном из блогов, посвященных технологиям виртуализации - утилита VMware ESXi SCSI Sense Codes Decoder. Она позволяет декодировать сообщения, появляющиеся в файле журнала vmkernel.log, когда что-то идет не так при работе хост-сервера ESXi с хранилищами по протоколу блочного доступа SCSI.
Например, вы видите вот такое сообщение:
2011-04-04T21:07:30.257Z cpu2:2050)ScsiDeviceIO: 2315: Cmd(0x4124003edb00) 0x12, CmdSN 0x51 to dev “naa.[…]” failed H:0x0 D:0x2 P:0x0 Valid sense data: 0x5 0x24 0x0.
Это, на самом деле, 6 статус-кодов (они выделены жирным выше), которые можно разложить следующим образом, подставив значения в форму ESXi SCSI Sense Codes Decoder:
В качестве результата вы получите расшифровку статус-кодов SCSI, которая поможет вам в решении той или иной проблемы:
Пользоваться утилитой ESXi SCSI Sense Codes Decoder можно только онлайн.
Как вы знаете, у главного производителя средств для создания программных отказоустойчивых хранилищ под виртуализацию, компании StarWind, есть бесплатное издание флагманского продукта StarWind Virtual SAN Free.
Этот документ поможет вам понять, чем именно бесплатный StarWind Virtual SAN может вам пригодиться в инфраструктуре небольшого предприятия или филиала.
Напомним, что отличия платной и бесплатной версии решения приведены вот в этом документе:
Среди возможностей решения для создания отказоустойчивых хранилищ VMware Virtual SAN 6.2 мы забыли упомянуть о нововведении в части обработки файлов подкачки - Sparse Swap.
Как вы знаете при создании виртуальной машины в обычной инфраструктуре под нее резервируется файл *.vswp, который равен по размеру объему сконфигурированной оперативной памяти виртуальной машины (либо объему незарезервированной памяти, то есть разнице между сконфигурированной и зарезервированной памятью, если она указана в настройке reservation). Это нужно на случай, когда машине не хватает свободной физической памяти (в ситуации, если уже не спасают техники memory overcommit), и она начинает сбрасывать страницы памяти в своп-файл на диске.
То есть, если вы создали ВМ с оперативной памятью 4 ГБ, то столько же займет и файл подкачки для этой ВМ. А теперь посмотрим на инфраструктуру Virtual SAN: если у вас задан параметр FTT=1, то каждый дисковый объект (в том числе и файл *.vswp) будет задублирован (если у вас mirror-конфигурация).
Теперь посчитаем, сколько места съест своп 100 виртуальных машин, у каждой из которых 4 ГБ оперативной памяти и которые размещены в кластере VMware Virtual SAN с FTT=1 в зеркальной конфигурации:
100 ВМ * 4 ГБ * 2 (FTT равен 1) = 800 ГБ
Да, именно так - почти терабайт только под своп. Кому-то это покажется расточительством, поэтому в Virtual SAN сделали такую штуку, как Sparse Swap. Эта функция позволяет создавать файлы подкачки vswp как тонкие, то есть растущие по мере наполнения данными, диски.
Для того, чтобы включить опцию Sparse Swap, нужно выполнить следующую команду на хосте VMware ESXi:
Давно мы не публиковали таблицу сравнения изданий VMware vSphere, а ведь в версии vSphere 6.0 много что изменилось, поэтому иногда полезно взглянуть на таблицу ниже. Кроме того, помните, что с 30 июня колонок в таблице станет на одну меньше - издание vSphere Enterprise снимается с продаж.
Возможность / Издание VMware vSphere
Hypervisor 6 (бесплатный ESXi)
vSphere Essentials 6
vSphere Essentials Plus 6
vSphere Standard 6
vSphere Enterprise 6.0 - (снимается с продаж 30 июня 2016 года
Мы довольно часто пишем о технологии VMware VVols, которая позволяет организовывать виртуальные хранилища наиболее оптимально с точки зрения управления и производительности без файловой системы VMFS. Сегодня мы обсудим, как узнать, поддерживает ли ваш адаптер ввода-вывода технологию VMware VVols.
Начнем с того, почему адаптер и хранилище вообще должны ее поддерживать. Все просто - для доступа к томам VVols используется специальный служебный LUN, реализуемый в виде Protocol Endpoint (PE). Когда обычный FC-адаптер соединяется с хранилищем VMFS, он использует путь к LUN на базе адресов WWN, который состоит из номера HBA-адаптера, номера контроллера и, конечно же, LUN ID. Это все выглядит как vmhbaAdapter:CChannel:TTarget:LLUN (например, vmhba1:C0:T3:L1).
В случае с VVols и луном PE это уже работает несколько по-другому: появляются так называемые Secondary LUN IDs, которые адресуются как саблуны девайсом PE (secondary level IDs, SLLID). Этот Administrative LUN на устройстве PE не имеет емкости, но адресует тома VVols, которые находятся уже непосредственно на хранилище.
Сервер vCenter получает эти Secondary LUN IDs через механизм VASA Provider, реализованный через одноименный API. Далее уже хост ESXi (а точнее его I/O-адаптер, например, HBA-адаптер) работает в виртуальными машинами (а вернее с томами VVols) через Secondary LUN IDs (их, кстати, может быть не 255 как у LUN ID, а намного больше).
Надо отметить, что средства резервного копирования на уровне LUN не могут напрямую обратиться к этим Secondary LUN IDs, так как работа с ними идет только через хост VMware ESXi.
Так вот стандартная SCSI-команда REPORT_LUNS не подходит для обнаружения административных LUN, которые в отличие от LUN с данными, не имеют емкости. Поэтому VMware подала предложения в комитет T-10, отвечающий за SCSI-протокол, чтобы внести в его спецификацию некоторые изменения:
Самый простой способ узнать, поддерживает ли ваш FC/NFS-адаптер адресацию Secondary LUN IDs - это пойти в список совместимости VMware HCL:
В списке Features вы должны увидеть пункт Secondary LUNID (Enables VVols). Выберите его и посмотрите результат:
Тут уже видна подробная информация о драйвере и фича SLLID.
Далее можно заглянуть в ваш vmkernel.log и посмотреть нет ли там следующих строчек:
Sanity check failed for path vmhbaX:Y:Z. The path is to a VVol PE, but it goes out of adapter vmhbaX which is not PE capable. Path dropped.
Если есть - понятное дело, VVols не поддерживаются. Ну а в консоли сервера VMware ESXi параметры HBA-адаптера можно проверить следующей командой:
esxcli storage core adapter list
В колонке Capabilities будет видна строчка Second Level Lun ID, если поддержка VVols у вашего адаптера есть:
На стороне хранилища вам нужно убедиться, что VASA Provider включен и поддержка фич PE для VVols функционирует. Далее выполните следующую команду, чтобы убедиться, что хост ESXi видит девайс PE (обратите внимание, что он видится как диск):
esxcli storage core device list –pe-only
Если вы видите в строчке Is VVOL PE значение true, то значит все ок, и вы можете развертывать виртуальные машины на базе томов VVols.
Вебинар пройдет 3 марта в 16-00 по московскому времени. Проводит его Влад Караев, поэтому вы сможете задавать вопросы на русском языке.
Мероприятие будет особенно полезно администраторам небольших инфраструктур или филиалов, где под виртуализацию и хранение виртуальных машин сложно выбить у начальства даже 2 сервера. На минимальной конфигурации из двух серверов Влад покажет, каким образом можно построить надежную отказоустойчивую архитектуру хранения и исполнения виртуальных машин на платформе Microsoft Hyper-V с помощью решения StarWind Virtual SAN.
Продолжаем рассказывать о технологиях компании StarWind, являющейся лидером в сфере решений для создания отказоустойчивых хранилищ под виртуальные машины на платформах VMware vSphere и Microsoft Hyper-V. Оказывается, прямо сейчас вы можете протестировать технологию VMware VVols совместно с решением StarWind Virtual SAN.
Для этого у компании StarWind есть специальный документ "StarWind Virtual SAN VVOLs Technical Preview Guide", рассказывающий о том, как попробовать виртуальные тома VVols для vSphere в режиме технологического превью в рамках тестовой инфраструктуры из одного хост-сервера.
Для тестирования нужно использовать виртуальный модуль StarWind VSA, который развертывается как виртуальная машина в формате OVF.
Для развертывания тестового стенда вам потребуется один сервер VMware ESXi 6.0 под управлением vCenter 6 в следующей минимальной конфигурации:
8 ГБ RAM
2GHz+ 64-bit x86 Dual Core CPU
2 vCPU, 4 ГБ RAM и 50 ГБ хранилища для машины StarWind
Компания VMware, оказывается, имеет интересный инструмент для расчета стоимости владения инфраструктурой хранения на базе локальных серверов VMware Virtual SAN TCO and Sizing Calculator. Понятно, что инструмент это больше маркетинговый, чем приложимый к реальному миру, но давайте все же взглянем на него. Напомним, кстати, также, что недавно была анонсирована новая версия VMware Virtual SAN 6.2.
Первое, что нам нужно ввести - это основные параметры инфраструктуры (можно выбрать между серверной виртуализацией и виртуализацией настольных ПК). Сначала нужно указать число виртуальных машин и число ВМ на сервер VMware ESXi. Далее можно использовать один для всех профиль виртуальной машины, а можно добавить несколько:
Если вы не знаете, что такое FTT (Failures to tolerates) - загляните вот в эту нашу заметку.
Далее мы вычисляем требуемую полезную емкость, необходимую для размещения виртуальных машин в кластерах Virtual SAN с учетом требуемого уровня отказоустойчивости:
Затем мы переходим к кастомизации так называемой "Ready Node" (об этом мы писали вот тут). Это типовой серверный узел, который будет исполнять как виртуальные машины, так и хранить их на своих локальных дисках.
Также в самом начале нужно задать "Performance profile", то есть типовую предполагаемую конфигурацию хранилища/производительности дисков для узла Virtual SAN. Внизу будет выведена примерная стоимость инфраструктуры хранения:
Кстати, у VMware есть инструмент Virtual SAN Ready Node Configurator, который поможет определиться с точной конфигурацией узла и создать спецификацию на него с учетом производителя серверов, которые вы обычно закупаете для своей инфраструктуры.
Ну а далее мы получаем overview из параметров, которыми будет обладать ваша виртуальная инфраструктура:
Ниже вы увидите распределение дискового пространства по VMDK-дискам, их репликам и прочим вспомогательным компонентам.
Внизу вы увидите конфигурацию хостов и кластера Virtual SAN, а также обобщенную спецификацию на узел. После этого переходим к параметрам расчета стоимости владения (TCO - total cost of ownership). Это такой метод сравнения затрат, когда вы сравниваете один способ реализации хранения машин без кластера хранилищ на базе локальных дисков с инфраструктурой Virtual SAN за определенный промежуток времени (обычно 3 или 5 лет).
Вводим параметры лицензирования и его тип, а также стоимость поддержки для Virtual SAN. Ниже вводим параметры текущей серверной конфигурации без VSAN:
Далее нам показывают "экономию" на трудозатратах (операционные издержки), а также на электропитании и охлаждении:
Ну а в конце приводится сводная таблица по капитальным и операционным затратам, полученная в сравнении использования Virtual SAN-конфигурации и развертывания традиционных дисковых массивов. Обратите внимание, что даже в дефолтном примере капитальные затраты с VSAN существенно выше:
Ниже идут различные графики про экономию денег в различных аспектах:
И в завершение - структура издержек на владение инфраструктурой хранения c VSAN и без него:
Инструмент интересный, но бесполезный. Пользуйтесь!
В этой заметке мы рассмотрим новые возможности решения для создания отказоустойчивых хранилищ на базе хост-серверов VMware Virtual SAN 6.2. Напомним, что о прошлой версии Virtual SAN 6.1, вышедшей осенью прошлого года, мы писали вот тут.
Итак, давайте посмотрим на новые возможности VSAN 6.2:
1. Дедупликация и сжатие данных.
Теперь обе этих технологии оптимизации хранилищ используются совместно, чтобы достичь наилучших результатов по стоимости хранения данных. Сначала данные виртуальных машин дедуплицируются на уровне дисковой группы, а потом сжимаются, что позволяет уменьшить исходный размер ВМ до 7 раз, в зависимости от типов нагрузки в гостевых ОС, по сравнению с первоначальным размещением.
Каждый vmdk хранит только оригинальные дисковые блоки:
2. Технология Erasure Coding (коррекция ошибок - "RAID из узлов").
В версии Virtual SAN 6.1 если вы используете параметр failures to tolerate =1 (FTT, зеркальная избыточность), то вам нужна двойная емкость в кластере. То есть, если будет 100 ГБ под виртуальные машины, то на хостах суммарная емкость должна составлять 200 ГБ.
По аналогии с RAID5/6 и другими типами RAID с чередованием, пространство хранения Virtual SAN 6.2 представляет собой "RAID из хостов ESXi". Таким образом, можно использовать схемы 3+1 или 4+2, которые позволят иметь лишь в 1,3 раза больше физического пространства (для первой схемы), чем полезной емкости. Об этом мы уже писали вот тут.
Вот интересная таблица соответствия параметров FTT, требований к инфраструктуре хранения и получаемых емкостей при различных типах RAID из хостов VMware ESXi:
3. Регулирование Quality of Service (QoS).
Теперь на уровне виртуальных дисков VMDK доступна регулировка полосы ввода-вывода на уровне IOPS:
Эти настройки могут быть применены через механизм политик хранилищ Storage Policy-Based Management (SPBM). Скорее всего, это будет востребовано в больших облачных инфраструктурах, особенно у сервис-провайдеров, которым необходимо обеспечивать различные уровни обслуживания своим клиентам. Также это позволяет создать механизм для того, чтобы рабочие нагрузки, размещенные на одном хранилище, не влияли друг на друга в моменты наибольшей нагрузки на подсистему хранения.
4. Техника Software Checksum.
Эта техника позволяет своевременно обнаруживать сбои, относящиеся к аппаратным и программным компонентам во время операций чтения/записи. Тут выделяются 2 типа сбоев: первый - "latent sector errors", который, как правило, свидетельствует о физической неисправности носителя, и второй - "silent data corruption", который происходит без предупреждения и может быть обнаружен только путем глубокой проверки поверхности накопителя.
5. Полноценная поддержка IPv6.
Теперь Virtual SAN поддерживает не только IPv4 и IPv6, но и смешанные окружения IPv4/IPv6 (для тех случаев, когда, например, на предприятии идет процесс миграции на новую версию протоколов).
6. Сервис мониторинга производительности.
Эти службы позволяют наблюдать за производительностью кластера Virtual SAN со стороны сервера vCenter. Теперь не обязательно идти в консоль vRealize Operations, чтобы решать базовые проблемы. Теперь в плане мониторинга доступны как высокоуровневые представления (Cluster latency, throughput, IOPS), так и более гранулярные (на базе дисков, попадания в кэш, статистика для дисковой группы и т.п.).
Также предусмотрена возможность предоставления данных о производительности кластера Virtual SAN сторонним сервисам через API. Для хранения событий используется собственная распределенная база данных, не зависящая от сервисов vCenter и хранящаяся в рамках кластера.
Компания StarWind, производитель лучшего решения Virtual SAN для создания программных отказоустойчивых хранилищ под виртуализацию, объявляет интересный конкурс. Все что вам нужно сделать, это поделиться своей историей о проекте по созданию гиперконвергентной архитектуры хранилищ (hyperconverged storage architecture), то есть архитектуры, где различные средства управления средой хранения сведены воедино в едином комплексе, а его масштабироание выполняется за счет добавления новых узлов.
Напомним, что у StarWind есть также собственное решение для создания гиперконвергентной инфраструктуры на базе серверов Dell, гипервизора Microsoft Hyper-V, ПО для хранилищ StarWind Virtual SAN, резервного копирования Veeam Backup and Replication, а также средств управления 5nine Hyper-V Manager. Поставляется оно в виде готового программно-аппаратного комплекса.
Итак, участвуйте в конкурсе StarWind и выиграйте 500 баксов:
Ваши истории появятся в блоге StarWind, а вы и ваши друзья и коллеги смогут проголосовать за них. Сами истории принимаются до 15 апреля, а уже 18 апреля будет объявлен победитель, который и получит 500 долларов. Те, кто займет второе и третье места, получат призы $300 и $150 соответственно.
Компания VMware в своем блоге, посвященном продуктам линейки VMware vSphere, представила интереснейшее доказательство, что кластер VMware Virtual SAN дает надежность "шесть девяток", то есть доступность данных 99,9999% времени в году. А это меньше, чем 32 секунды простоя в год.
Бесспорно, приведенное ниже "доказательство" основано на множестве допущений, поэтому заявление о шести девятках является несколько популистским. С моей точки зрения, гораздо более вероятно, что админ с бодуна не туда нажмет, или, например, в команде vmkfstools укажет не тот LUN и снесет все виртуальные машины на томе VMFS (привет, Антон!), чем откажет оборудование с дублированием компонентов. Но все же, рассмотрим это доказательство ниже.
Прежде всего, введем 2 понятия:
AFR – Annualized Failure Rate, то есть вероятность отказа в год (носителя данных или другого компонента), выраженная в процентах.
MTBF – Mean Time Between Failures (среднее время между отказами). Это время в часах.
Эти 2 величины взаимосвязаны и выражаются одна через другую в соответствии с формулой:
AFR = 1/(MTBF/8760) * 100%
Обычно, как HDD, так и SSD накопители, имеют AFR от 0.87% до 0.44%, что дает от 1 000 000 до 2 000 000 часов MTBF. Далее для примера берут диск 10K HDD от Seagate (популярная модель ST1200MM0088), для которой AFR равен 0.44% (см. вторую страницу даташита) или 2 миллиона часов в понятии MTBF. Ну и взяли популярный SSD Intel 3710 для целей кэширования, который также имеет MTBF на 2 миллиона часов.
Для того, чтобы вычислить время доступности данных на таких накопителях, нужно понимать время, которое необходимо для восстановления бэкапа на новый накопитель в случае сбоя. По консервативным оценкам - это 24 часа. Таким образом, доступность данных будет равна:
2 000 000/ (2 000 000 + 24) = 0,99998
То есть, 4 девятки. Но диск - это еще не весь сервис. Есть еще надежность дискового контроллера, самого хост-сервера и стойки в целом (по питанию). VMware запросила данные у производителей и получила следующие параметры доступности:
Вот, доступность уже 3 девятки, что эквивалентно 8,76 часов простоя в год. Не так плохо, но это слишком оптимистичные значения - на деле есть прочие факторы, влияющие на доступность, поэтому уберем последнюю цифру из долей для доступности каждого из компонентов:
Получается 2 девятки, а это 3,65 дня простоя в год, что уже довольно критично для многих бизнесов.
Ну а теперь применим технологию VMware Virtual SAN, которая дублирует данные на уровне виртуальных машин и отдельных виртуальных дисков. Если мы используем параметр FTT (Numbers of failures to tolerate) равный 1, что подразумевает хранение одной реплики данных, то вероятность недоступности хранилища Virtual SAN данных будет равна вероятности отказа 2-х хранилищ одновременно, то есть:
(1-0.997)^2 = 0.00000528
Ну а доступность в данном случае равна:
1-0.00000528 = 0.999994
То есть, уже 5 девяток. Но это доступность для одного объекта VSAN, а отдельная виртуальная машина обычно имеет несколько объектов, допустим, 10. Тогда ее доступность будет равна:
0.999994^10 = 0.99994
В итоге, 4 девятки. Это 52,56 минуты простоя в год. В зависимости от того, сколько объектов у вас будет на одну ВМ, вы будете иметь доступность от 4 до 5 девяток.
А теперь возьмем FTT=2, то есть конфигурацию, когда имеется 2 дополнительных копии данных для каждого объекта в кластере Virtual SAN. В этом случае вероятность полного отказа всех трех копий данных:
(1-0.997)^3 = 0.00000001214
А доступность для ВМ с десятью объектами:
0.999999988^10 = 0.999999879
То есть, те самые 6 девяток, о которых говорится на слайде. Конечно, все это допущения, фантазии и игра с вероятностями, но читать это все равно интересно. Еще более интересно то, что оригинал этой статьи написала женщина)
Таги: VMware, Virtual SAN, HA, VSAN, Enterprise, Blog, Availability, Storage
Компания VMware выпустила очень интересный документ "VMware vSphere 6
Fault Tolerance
Architecture and Performance", посвященный производительности технологии VMware Fault Tolerance (FT), которая позволяет обеспечивать непрерывную доступность виртуальных машин, даже в случае отказа хост-сервера VMware ESXi. Делается это за счет техники Fast Checkpointing, по своей сути похожей на комбинацию Storage vMotion и vMotion, которая копирует состояние дисков, памяти, процессорных команд и сетевого трафика на резервную машину, поддерживая ее в полностью синхронизированном с первой состоянии. На данный момент vSphere 6 FT поддерживает виртуальные машины с конфигурацией до 4 vCPU и до 64 ГБ оперативной памяти на хост ESXi.
Давайте посмотрим на интереснейшие результаты тестирования производительности, приведенные в документе.
1. Процедура компиляции ядра в гостевой ОС.
Эта процедура грузит CPU на 100%, поэтому посмотрим, каковы тут потери, связанные с аспектами производительности процессора и синхронной передачи команд. Все вполне хорошо, потери небольшие:
2. Сетевая активность.
Если говорить о производительности сетевой коммуникации, то на получение данных потерь практически нет, а вот на передачу все происходит процентов на 10 медленнее. Результат для 1 Гбит сети:
Кстати, очевидно, что сетевой трафик именно самой сети FT максимальный, когда машина принимает много данных (их нужно синхронизировать на второй узел), когда же данные передаются там трафик намного меньше (машина их просто отдает, а синхронизировать нужно только сам процесс передачи и параметры канала).
Результат для 10 Гбит сети. Вот тут и происходит ситуация, когда канал на прием забивается FT-трафиком, как итог - прием происходит только на полосе 2,4 Гбит:
Из-за необходимости поддержки параметров сетевой передачи и приема в синхронном режиме возникает Latency около 6 миллисекунд:
3. Тестирование подсистемы ввода-вывода.
Для тестирования работы с хранилищами (I/O) взяли стандартный инструмент IOMeter. Особых потерь не обнаружилось:
4. Тест Swingbench для Oracle 11g.
Для теста была взята OLTP-нагрузка на базу данных. По числу транзакций в секунду потери небольшие, но задержка по времени ответа возникает значительная:
5. Тест DVD Store на Microsoft SQL Server 2012.
Здесь была запущена симуляция 64 пользовательских сессий. По-сути, этот тест очень похож на методику для Oracle, ну и результаты здесь также соответствующие (но по времени отклика как-то все очень печально):
6. Бенчмарк на базе TPC-E.
Здесь были симулированы операции сервера брокерской компании, который производит обработку OLTP-транзакций в реальном времени. Тест очень стрессовый, и потери здесь весьма существенны:
7. Операции VMware vCenter Server.
Ну а здесь уже сам сервер vCenter защитили технологией Fault Tolerance и измерили производительность операций для двух типов нагрузки - легкой и тяжелой. При тяжелой нагрузке все происходит медленнее больше чем в 2 раза:
vSphere Web Client работает, в общем-то, неплохо, но хотелось бы лучше:
Результаты тестирования очень полезны - теперь администраторы смогут закладывать потери производительности на поддержание FT-кластера в архитектуру планируемой инфраструктуры для бизнес-критичных приложений.
Тем из вас, кто администрирует инфраструктуру Microsoft, может оказаться интересным технологический блог компании StarWind Software, которая производит лучшее средство для создания отказоустойчивых хранилищ для инфраструктуры Hyper-V - Virtual SAN.
В своем блоге сотрудники компании рассказывают об интересных фишках, например, есть посты от основателя и CTO компании Антона Коломейцева о том, как сделать бесплатный SMB 3.0 сервер на бесплатном Hyper-V Server, да еще и в кластерной конфигурации:
Интересная статья от Дункана Эппинга была опубликована в его блоге пару недель назад. Если вы хотите использовать виртуальные тома VVols, которые обладают некоторыми преимуществами по сравнению с традиционной файловой системой VMware VMFS, то для некоторых систем, поддерживающих механизм VASA (vSphere API for Storage Awareness), потребуется использовать внешний виртуальный модуль VASA Vendor Provider (VP). То есть, некоторые аппаратные хранилища уже содержат в себе готовые модули и прошитые в них модули VP, а вот для некоторых нужно запускать и поддерживать специальную виртуальную машину, выполняющую сервисные функции при работе виртуальных машин с хранилищами VVols.
Прежде всего VP используется для выполнения операции Bind (привязка машины к VVol), которая инициируется при запуске виртуальной машины. В этом случае VP создает точку доступа ввода-вывода (IO access point) для виртуального тома VVol на выбранном Protocol Endpoint (PE). Без этой операции машина не запустится, из чего следует, что критически важно поддерживать виртуальную машину с VP непрерывно доступной. У разных вендоров используются разные уровни доступности:
Кто-то выпускает модуль с возможностью active/standby или active/active-конфигурации виртуальных машин на разных хостах.
Ну а кто-то надеется на встроенные механизмы обеспечения отказоустойчивости VMware HA и VMware Fault Tolerance (FT).
Очевидно, что если вы выбираете хранилище с внешним VP, то очень желательно, чтобы там был реализован первый вариант обеспечения доступности. Ну и нельзя помещать виртуальную машину с VASA VP на том VVol, чтобы не оказаться в ловушке невозможности запуска этой виртуальной машины.
Со временем VMware планирует включить операции bind/unbind в стандарт T10 SCSI, и сервисная виртуальная машина будет не нужна, но эти вещи, как вы понимаете, делаются не быстро, поэтому пока обеспечивайте отказоустойчивость виртуальных модулей VP, по крайней мере, с помощью технологий VMware HA и VMware Fault Tolerance.
И да, в комментарии пишут, что у одного админа получилось так, что машина с VP просто перестала выполнять команды, хотя сама ВМ работала. В результате продуктивные ВМ было не запустить. Поэтому имеет смысл задуматься и об обеспечении отказоустойчивости на уровне компонентов VP (может, как-нибудь проверять скриптами его работоспособность?).
Таги: VMware, VVOls, HA, FT, Storage, vSphere, Hardware
RSS
